Cooper sinh tại Thành phố New York, là con trai thứ hai của nhà văn Wyatt Emory Cooper và họa sĩ, nhà thiết kế thời trang và nhà văn Gloria Vanderbilt. Ông bà ngoại của ông là triệu phú đua ngựa Reginald Claypoole Vanderbilt và Gloria Morgan Vanderbilt, và ông cố ngoại ba đời của ông là doanh nhân Cornelius Vanderbilt, người đã lập ra sự nghiệp tàu biển và đường sắt nổi tiếng cho dòng họ nhà Vanderbilt.[4] Ông cũng là hậu duệ của cựu chiến binh thời Nội chiến Thiếu tướng Hugh Judson Kilpatrick, người đã cùng Tướng William T. Sherman hành quân qua Georgia. Theo dòng họ "Vanderbilt", ông là anh họ thứ hai của nhà biên kịch James Vanderbilt.

Kinh nghiệm về truyền thông của Cooper bắt đầu rất sớm. Khi còn là em bé, ông được Diane Arbus chụp ảnh cho Harper's Bazaar.[5][6] Vào năm ba tuổi, Cooper là khách mời của chương trình The Tonight Show vào ngày 17 tháng 9 năm 1970, xuất hiện cùng mẹ mình.[7] Vào năm chín tuổi, ông xuất hiện trên game show To Tell the Truth làm người thủ vai.[8] Từ năm 10 tới 13 tuổi, Cooper đã làm người mẫu Ford Models cho Ralph Lauren, Calvin Klein và Macy's.[9]

Cha của Cooper phải trải qua nhiều cơn nhồi máu cơ tim trong lúc đang phải phẫu thuật tim, và đã qua đời ngày 5 tháng 1 năm 1978 ở tuổi 50. Cooper cho rằng cuốn sách Families của cha mình "giống như một cuốn sách hướng dẫn...ông đã muốn tôi sống như thế nào và những lựa chọn mà ông muốn tôi phải chọn. Và vậy nên tôi cảm thấy rất gần gũi với ông."[9]

Anh trai của Cooper, Carter Vanderbilt Cooper, đã tự sát vào ngày 22 tháng 7 năm 1988 ở tuổi 23, bằng cách nhảy từ tầng 14 khu căn hộ penthouse của nhà Vanderbilt tại Thành phố New York. Gloria Vanderbilt sau đó đã viết về cái chết của con trai mình trong cuốn sách A Mother's Story, trong đó bà cho rằng vụ việc là do loạn tâm thần gây ra bởi dị ứng với loại thuốc kê đơn chống hen suyễn salbutamol. Anderson nói về vụ tự tử của Carter là một sự kiện đã khiến ông bắt đầu hứng thú nghề báo chí.

Sự mất mát là một chủ đề mà tôi nghĩ tới rất nhiều, và đó là thứ gì đó mà tôi luôn nghĩ tới trong công việc mình. Tôi nghĩ rằng khi bạn phải trải qua bất cứ sự mất mát nào, nhất là sự mất mát mà tôi đã trải qua, bạn sẽ tự hỏi những câu hỏi như: Tại sao nhiều người lại có thể vượt qua những tình huống mà những người khác không thể chịu đựng được? Liệu mình có thể sống sót và tự mình vươn tới thành công?[9]